Curse of Dimensionality

定义 Definition

“维度灾难”：指当数据的维度（特征数）变高时，数据空间体积急剧增大，样本在空间中变得极其稀疏，导致许多算法（如最近邻、密度估计、搜索与优化、机器学习模型训练）需要成倍更多的数据才能保持同等效果，且距离度量、泛化能力等往往变差。

发音 Pronunciation (IPA)

/ˈkɝːs əv dɪˌmɛnʃəˈnælɪti/

例句 Examples

As the number of features grows, the model suffers from the curse of dimensionality.
随着特征数量增加，模型会受到维度灾难的影响。

Even with thousands of samples, nearest-neighbor methods can break down under the curse of dimensionality because distances become less informative in high-dimensional spaces.
即使有成千上万的样本，在高维空间里最近邻方法也可能因维度灾难而失效，因为距离变得不再那么“有信息量”。

词源 Etymology

该术语常归功于数学家与计算机科学家 Richard E. Bellman（理查德·贝尔曼），他在研究动态规划与高维问题时指出：维度一旦升高，计算与数据需求会呈“灾难性”膨胀，因此用 curse（诅咒/灾难）形象描述这种难以避免的代价；dimensionality 来自 dimension（维度）加后缀 -ality（性质/状态）。

相关词 Related Words

• Dimensionality Reduction
• Feature Selection
• Overfitting
• Sparsity
• High-Dimensional
• Regularization
• Nearest Neighbor
• Manifold
• Kernel
• Distance Metric

文学与著作 Literary Works

• Richard E. Bellman, Dynamic Programming（讨论高维问题带来的计算爆炸，术语常与其工作相关）
• Trevor Hastie, Robert Tibshirani, Jerome Friedman, The Elements of Statistical Learning（高维统计学习中的稀疏性与泛化问题）
• Christopher M. Bishop, Pattern Recognition and Machine Learning（模式识别中高维数据与距离/密度估计的困难）
• Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning（高维表示学习、正则化与数据需求的相关讨论）